谷歌年度开发者大会 Google I/O 上发布了 PaLM 2大模型
谷歌在 2023 年度开发者大会 Google I/O 上发布了 PaLM 2大模型,准备向 OpenAI 的 GPT-4 等竞争对手发起挑战。
- 官方PaLM2技术报告PDF: https://ai.google/static/documents/palm2techreport.pdf
据了解,PaLM 2 是谷歌首个从头开始构建的多模态模型,同时,在逻辑和推理方面,PaLM 2 模型更加强大。据说 PaLM 2 在超过 100 多种语言的多语言文本上进行了训练。PaLM 2的日语水平达到了A级,法语水平达到了C1级。
这是一种新的最先进的语言模型,具有更好的多语言和推理能力,并且比其前身 PaLM 的计算效率更高。 PaLM 2 是基于 Transformer 的 使用类似于 UL2 的目标混合训练模型。
此外,PaLM 2 还改进了对编写和调试代码的支持,并且已经学会了20多种编程语言,包括C++、Go、JavaScript、Python等。
PaLM2 还有一个基于健康数据训练的版本 Med-PaLM 2,可以轻松通过美国医学执照考试,达到“专家”水平。一个基于网络安全数据训练的版本 Sec-PaLM 2,可以解释潜在恶意脚本的行为,检测到代码中的安全威胁。这两种模型都将通过谷歌云提供给特定客户。
目前,PaLM 2已经应用在25种功能和产品中,包括办公全家桶、聊天机器人Bard、搜索等等。